Het kasteel van Esquelmes is in een uitgestrekt en bosrijk park genesteld. De oudste delen van het kasteel dateren uit de 17de eeuw maar het kasteel werd rond 1950 bijna volkomen heropgebouwd in de oorspronkelijke traditionele stijl.
Het kasteel van Esquelmes was de zetel van de gelijknamige heerlijkheid. Die heerlijkheid behoorde aan verschillende families toe, de familie de Lambersart in de 13de eeuw, de familie Bernard in de 15de eeuw, de families Bailleul en Bryas in de 18de eeuw. Het kasteel uit de 17de eeuw werd door Sanderus geïllustreerd in ‘Flandria Illustrata’. De ets toont een ruime vierhoekige bouw met wallen en een ophaalbrug. Een muur zorgt voor de scheiding van hoenderhof en binnenhof. In de woongebouwen zitten veel muuropeningen. Rechthoekige torens markeren de hoeken van de inkomgebouwen. Op de 18de-eeuwse kaarten van Ferraris stelt men dezelfde structuur vast. Er zijn nu nog overblijfselen uit de 17de eeuw maar het grootste deel van het kasteel werd rond 1950 in de oorspronkelijke traditionele stijl heropgebouwd.